Nous avons soumis aux logiciels de traduction de notre banc d'essai plusieurs phrases visant à les tester sur trois points précis :
-	leur capacité à interpréter correctement les structures grammaticales potentiellement ambiguës.
-	leur capacité à choisir le sens correct de mots polysémiques de la langue courante (time et way)
-	leur connaissance des vocables du domaine de spécialité (ici la médecine)

Le tableau ci-dessous résume les résultats obtenus selon ces critères par les trois logiciels testés (Dans le mesure où les traductions proposées par Systran Pro et Systran Premium d’une part et par Reverso Pro et Reverso Expert d’autre part étaient pratiquement toujours les mêmes, nous ne comparons ici que les versions Pro avec Le Traducteur.

	Reverso Pro	Systran Pro	Le Traducteur	
sens des mots polysémiques (sur 7 pts)	5	4	2	
structures grammaticales (sur 7 pts)	4	6	2	
vocables du domaine spécialisé (sur 6 pts)	3	2	0	
TOTAL (sur 20 pts)	12	12		

La polysémie semble légèrement mieux traitée par Reverso que par Systran, et Le Traducteur se tire mal de cet exercice : way est systématiquement traduit par « chemin », alors que « façon » ou « manière » conviendraient dans American way of life ou ways of solving this problem. Le Traducteur nous donne également « pour le dernier temps » comme traduction de for the last time, au lieu de « pour la dernière fois ».

Cet exercice, qui fait intervenir des phrases tirées de la langue courante, révèle que Reverso semble mieux intégrer les locutions du vocabulaire courant que Systran, comme le montrent les trois phrases suivantes :

Original	Reverso	Systran	
The travellers have come a long way.	Les voyageurs sont venus de loin.	Les voyageurs sont venus un long chemin.	
We had a good time at the party.	Nous nous sommes bien amusés à la partie(au parti).	Nous avons eu un bon temps à la partie.	
She can’t get used to the American way of life.	Elle ne peut pas s'habituer au mode de vie américain.	Elle ne peut pas obtenir utilisée à la façon de vivre américaine.	

Si la correction grammaticale de la version française est souvent très déficiente, des progrès semblent néanmoins avoir été faits dans ce domaine. Aucun des logiciels testés n'arrive à restituer le texte de manière parfaitement correcte, mais Reverso et Systran sont indéniablement au dessus de lot. Dans la plupart des cas, ces deux logiciels nous livrent une version à peu près compréhensible du texte de départ, qui serait en tout cas utile à quelqu'un qui souhaiterait avoir une idée générale du contenu du texte original alors qu'il n'en maîtrise pas la langue. Certaines traductions de phrases relativement complexes sont mêmes tout à fait convenables. L’exemple suivant montre cependant les limites des logiciels de TAO en matière de complexité grammaticale :

Original	Reverso	Systran	
Whether breast cancer morbidity and mortality can be reduced through the adoption of prevention and surveillance practices remains an open question.	Si la morbidité de cancer du sein et la mortalité peuvent être réduits par l'adoption de prévention et des restes de pratiques de surveillance une question ouverte.	Si la morbidité et la mortalité de cancer de sein peuvent être réduites par l'adoption des pratiques en matière d'empêchement et de surveillance reste un ouvert interrogent.	

Le sujet de la phrase anglaise de départ est une interrogative indirecte nominalisée, dans laquelle whether pourrait se traduire par « Le fait de savoir si ». Les analyseurs des deux logiciels ne semblent pas capables de gérer ce type de structure, qui provoque diverses erreurs d’analyse (Reverso fait de remains un nom, et question semble interprété par Systran comme un verbe. Notons cependant que la traduction de Systran est ici meilleure, dans la mesure où il interprète correctement la prémodification impliquant des structures coordonnées (cancer [morbidity and mortality] et [prevention and surveillance] practices). Les structures grammaticales ambiguës sont généralement mieux traitées par Systran, en particulier les structures coordonnées, que par l’analyseur de Reverso, qui semble ignorer ces complexités. L’exemple suivant montre la supériorité de Systran dans ce domaine, même si la première partie de la phrase est plutôt bien traduite par Reverso :

Original	Reverso	Systran	
Teamwork is necessary for both planning and performing the primary surgical procedure and recognizing and managing potential intraoperative and postoperative complications.	La collaboration est nécessaire tant pour la planification que pour l'exécution de la procédure chirurgicale primaire et de la reconnaissance et le potentiel dirigeant intraoperative et des complications post-en vigueur.	Le travail d'équipe est nécessaire pour la planification et exécuter le procédé chirurgical primaire et identifier et les contrôler des complications intraoperative et postopératoires
potentielles.	

La présence de both provoque une bonne interprétation par Reverso de la première structure coordonnée (même si both s’applique en fait aux deux groupes de deux formes verbales cordonnées planning and performing et recognizing and managing). Dans la deuxième partie de la phrase, la deuxième structure coordonnée n’est pas reconnue, et l’interprétation de managing et potential respectivement en tant qu’adjectif et nom provoque une traduction incompréhensible.

Les deux principaux logiciels ont également été testés au niveau du vocabulaire de spécialité dans le domaine médical, où ils se sont tous deux avérés décevants. Bien que Systran Premium ait été utilisé avec son dictionnaire des Sciences de la vie, il ne s’est pas montré meilleur que Reverso dans ce domaine : genetic testing, preoperative tests, surgical procedure et cerebrospinal fluid ont ainsi été incorrectement traduits.